"""
使用requests爬取百度浙江工贸贴吧1-3页数据，保持在文件中
第一页50
第两页100
第三页150

爬取网页数据：
1.要不要登录才能访问
    需要登录的话，要考虑cookie或session来实现
2.get/post请求( 浏览器 F12--network)
    get请求：需要知道请求url和请求头
    post请求：url，请求头(User-Agent),请求体数据（）
"""

# 爬取url内容保存在file_name文件中
import requests


def load_page(url, file_name):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36'
    }
    html=requests.get(url,headers=headers)
    #间爬取内容写入文件
    print(f'正在保存{file_name}')
    with open(file_name,'w',encoding='utf-8') as f:
        f.write(html.content.decode())
# 让用户输入要爬取的贴吧，起始页和结束页
kw=input('请输入要爬的贴吧名：')
begin=int(input('请输入起始页：'))
end=int(input('请输入结束页：'))
# 根据用户输入，拼接url的kw
url='https://tieba.baidu.com/f?kw='+kw+'&ie=utf-8'
# 根据输入的起始页和结束页，循环去拼接完整的url
# 爬取每一页的数据，保持在文件中

for page in range (begin,end+1):
    pn=(page-1)*50
    # 拼接完整url
    url_new=url+'&pn='+str(pn)
    # print(url_new)
    file_name='第'+str(page)+'页.html'
    # print(file_name)
    load_page(url,file_name)
